Lê Phi Phi sinh năm 1967 hoặc 1968.[2][3] Ông là con trai út của nhạc sĩ Hoàng Vân và bác sĩ Lê Thị Ngọc Anh.[4] Chị gái hơn ông 3 tuổi là tiến sĩ âm nhạc Lê Y Linh.[5] Lê Phi Phi trải qua thời thơ ấu tại một căn nhà trên phố Hàng Thùng, cũng là nhà của ông nội và là nơi cha ông được sinh ra.[6] Trong kỳ thi tốt nghiệp tại trường Trung học cơ sở Trưng Vương, ông là một trong số các thủ khoa.[3]

Khi bắt đầu được học âm nhạc, ông học đàn piano. Sau khi học hết sơ cấp, ông thi vào chuyên ngành Lý luận hệ trung cấp của Nhạc viện Hà Nội. Tuy vậy, trong những năm học trung cấp, cha ông và các giảng viên trong trường nhận thấy Lê Phi Phi nên theo học chuyên ngành chỉ huy nhằm phù hợp với con người và tính cách hơn. Vì vậy, ông quyết định chọn ngành chỉ huy dàn nhạc.[7]